Na área da inteligência artificial, a geração de áudio a partir de texto está se tornando um tópico de pesquisa cada vez mais importante. Recentemente, pesquisadores lançaram um novo modelo chamado TANGOFLUX, que se destaca em desempenho e eficiência. O TANGOFLUX é um modelo eficiente de geração de áudio a partir de texto, com 515 milhões de parâmetros, capaz de gerar áudio de 44,1 kHz com duração de até 30 segundos em apenas 3,7 segundos, um feito impressionante em uma única GPU A40. O TANGOFLUX é principalmente...

Recentemente, a Adobe Research, em colaboração com a Northwestern University, desenvolveu um sistema de inteligência artificial chamado Sketch2Sound, uma ferramenta que promete revolucionar a maneira como os designers de som trabalham. O Sketch2Sound permite que os usuários criem efeitos sonoros e sons ambiente profissionais simplesmente imitando sons, humilhando ou usando descrições de texto simples. O sistema analisa três elementos-chave da entrada vocal do usuário: volume, timbre (que determina o brilho ou escuridão do som) e altura. Em seguida, ele combina essas características com as informações do usuário

Recentemente, uma equipe de pesquisa da Universidade de Illinois Urbana-Champaign, Sony AI e Sony Corporation lançou uma nova tecnologia chamada MMAudio, projetada para gerar áudio de alta qualidade a partir de vídeo por meio de treinamento multi-modal conjunto. A inovação central do MMAudio é sua capacidade de usar entradas de vídeo e texto para gerar áudio sincronizado, expandindo os casos de uso da geração de áudio e permitindo a entrada de vídeo ou texto para gerar efeitos sonoros que correspondem ao conteúdo do vídeo. O design do MMAudio permite que...

Recentemente, a equipe de pesquisa da Adobe, em colaboração com pesquisadores da Universidade de Michigan, desenvolveu um sistema de inteligência artificial chamado MultiFoley. Este sistema é capaz de gerar efeitos sonoros de dublagem para filmes e vídeos, auxiliando na pós-produção. A inovação do MultiFoley reside na sua capacidade de permitir que os usuários criem efeitos sonoros através de prompts de texto, áudio de referência ou exemplos de vídeo. Em demonstrações, o sistema conseguiu até mesmo transformar o miado de um gato no rugido de um leão, ou o som de uma máquina de escrever em notas de piano, sincronizando perfeitamente com as imagens de vídeo.

Na área da criação musical e sonora, a combinação de tecnologia e criatividade sempre enfrenta muitos desafios. Os modelos de IA existentes geralmente são especializados em tarefas específicas e carecem de ampla adaptabilidade, o que limita o papel auxiliar da IA na produção musical. Para que a IA possa melhor servir à produção musical e de áudio, é necessário um modelo universal que possa lidar de forma flexível com diversas necessidades criativas. Para isso, a NVIDIA lançou o Fugatto, um modelo de geração e processamento de áudio com 2,5 bilhões de parâmetros. O Fugatto foi projetado para

Na criação de vídeos envolventes, o áudio desempenha um papel tão importante quanto os visuais. No entanto, encontrar ou criar os efeitos sonoros certos costuma ser uma tarefa demorada. Na conferência anual MAX da Adobe, eles apresentaram um protótipo experimental chamado Project Super Sonic, uma tecnologia capaz de gerar efeitos sonoros a partir de texto, identificar objetos em vídeos e até mesmo usar sua voz para criar rapidamente trilhas sonoras e efeitos sonoros para projetos de vídeo. Embora a capacidade de gerar efeitos sonoros a partir de prompts de texto soe